Dalam karier kelabnya, Haller beraksi dari tahun 1948 hingga 1962 untuk kelab BC Augsburg sebelum berpindah ke kelab Itali, Bologna dalam perpindahan bernilai 750 ribu mark bersama gaji tahunan 200 ribu mark. Ketika itu di Jerman, gaji-gaji pemain terhad 500 mark sebulan tetapi ditingkatkan kepada 2500 mark selepas Bundesliga diperkenalkan sebagai divisyen pertama negara itu pada tahun 1963. Beliau bersama tiga rakan senegara, Albert Brülls, Karl-Heinz Schnellinger dan Horst Szymaniak meneruskan karier di Itali.

Pada awal kariernya di Itali, Haller beraksi untuk Bologna di bawah kendalian Fulvio Bernardini dan meraih kejuaraan "Scudetto" pertama dan terakhir kelab dalam masa 23 tahun pada tahun 1964. Dari tahun 1968 hingga 1973, beliau bermain untuk Juventus dan beliau merangkul "Scudetto" pada tahun 1972 dan 1973. Pada tahun 1973, Juventus mara ke perlawanan akhir Piala Eropah menentang pasukan Ajax yang dibintangi legenda Johan Cruijff. Haller menggantikan Roberto Bettega pada minit ke-49 tetapi perlawanan berkesudahan Juve tewas 0-1 hasil jaringan awal Johnny Rep.

Pada tahun 1973, beliau kembali ke Jerman untuk sertai kelab FC Augsburg yang baru ditubuhkan hasil penggabungan bekas kelab BC Augsburg dan musuh setempat, TSV Schwaben. Kelab tersebut membayar 44 ribu mark atas perpindahan Haller. Pada masa itu, Augsburg menjadi pendatang baru Regionalliga. Augsburg menamatkan musim tersebut di tempat pertama dalam divisyen selatan Regionalliga. Namun, kelab ini terlepas tiket ke Bundesliga selepas ketinggalan satu mata di belakang Tennis Borussia Berlin.

Haller bersara pada tahun 1979.